专利摘要:
オーディオ信号の帯域拡張のために、オーディオ信号は信号スプレッダの中で1よりも大きな伸張係数により時間的に伸張される。時間的に伸張されたオーディオ信号は次にデシメータへと供給され、このデシメータは、時間的に伸張されたバージョンを伸張係数に整合するデシメーション係数によりデシメートする。このデシメーション操作により生成された帯域は、抽出されて歪ませられ、最後にオーディオ信号と結合されて、帯域拡張されたオーディオ信号が取得される。信号伸張のために、フィルタバンク構成又は変換構成の中の位相ボコーダが使用されても良い。
公开号:JP2011511311A
申请号:JP2010544618
申请日:2009-01-20
公开日:2011-04-07
发明作者:サーシャ デッシュ;フレデリック ナーゲル;マックス ノイエンドルフ
申请人:フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン;
IPC主号:G10L21-04
专利说明:

[0001] 本発明はオーディオ信号処理に関し、特に、利用可能なデータレートが比較的小さい場合におけるオーディオ信号処理に関する。]
背景技術

[0002] オーディオ信号の効率的な記憶と伝送のためのデータ削減を目的とする、オーディオ信号の聴覚適応型の符号化は、多くの分野において受け入れられてきた。符号化アルゴリズムは、特に、「MP3」又は「MP4」として公知である。このために使用される符号化であり、特に最低限のビットレートを達成する時に使用される符号化は、オーディオの品質低下をもたらすが、この品質低下は多くの場合、主として伝送されるべきオーディオ信号帯域への符号器側における制限によって引き起こされるものである。]
[0003] 特許文献1は、オーディオ信号に対して符号器側において帯域制限を与え、オーディオ信号の低域だけを高品質のオーディオ符号器を用いて符号化するという方法を開示している。一方、オーディオ信号の高域については、非常に粗い特徴付け、即ち高域のスペクトル包絡を再現するパラメータ・セットによる特徴付けがなされるだけである。その後、復号器側において高域が合成される。この合成のために、復号化済のオーディオ信号の低域をフィルタバンクへと供給する、ハーモニックな転位(harmonic
transposition)が提案されている。低域のフィルタバンク・チャネルは高域のフィルタバンク・チャネルへと結合されるか、または「パッチ」され、各パッチ済の帯域通過信号には包絡調整が実行される。この時、特殊な解析フィルタバンクに属するこの合成フィルタバンクは、低域ではオーディオ信号の帯域通過信号を受け取り、高域ではハーモニックにパッチされた低域の包絡調整済の帯域通過信号を受け取る。この合成フィルタバンクの出力は、先に符号器から復号器へと非常に低いデータレートで送信されたオーディオ信号の、その帯域に関して拡張されたオーディオ信号である。特に、フィルタバンクの演算とフィルタバンク・ドメインでのパッチングとは、高度な演算能力を必要とすることもある。]
[0004] 上記の方法に代えて、帯域制限されたオーディオ信号の帯域拡張(bandwith extension)のための複雑さを低減した方法には、帯域制限によって欠損した情報を近似する目的で、低周波信号部分(LF)から高周波信号領域(HF)へのコピー機能を使用する方法もある。このような方法は、非特許文献1、非特許文献2、非特許文献3、非特許文献4及び特許文献2に開示されている。]
[0005] これらの方法では、ハーモニックな転位は実行されない。代わりに、低域の連続的な帯域通過信号が高域の連続的なフィルタバンク・チャネルへと導入される。その結果、オーディオ信号の高域の粗い近似が達成される。このような信号の粗い近似は、後のステップにおいて、オリジナル信号から取得された制御情報を使用する後処理により、オリジナル信号に対して近似される。この時、MPEG−4標準にも記載されているように、例えばスケールファクタが、スペクトル包絡の適応と、逆フィルタリングと、調性(tonality)の適応及び正弦波信号部分による補足のためのノイズカーペットの追加と、に役立つ。]
[0006] 上述の方法以外にも、非特許文献5の中で開示された所謂「ブラインド帯域拡張」と呼ばれる方法等のさらなる方法があるが、この中ではオリジナルHF領域についての情報は全く使用されていない。さらに、非特許文献6の中で開示された所謂「人工的帯域拡張」という方法もある。]
[0007] 非特許文献7の中でも、ある帯域拡張の方法が開示されているが、この中では、SBR(スペクトル帯域複製)の技術に従う連続的な帯域通過信号のアップ・コピーを用いた帯域拡張のコピー操作に代えて、例えばアップサンプリングによるミラーリングを用いている。]
[0008] 帯域拡張のための更なる技術は、非特許文献8、非特許文献9、非特許文献10、非特許文献11、特許文献3及び特許文献4にも開示されている。]
[0009] ハーモニックな帯域拡張(harmonic bandwith extension)の公知の方法には、複雑な点がある。一方、複雑さを低減した帯域拡張の方法では、品質の点で欠損が生じる。特に、低ビットレートであって、LF領域の低帯域と組合せになる場合、粗さや不快と認識されるティンバー(timber)などのアーチファクトが発生する可能性もある。この発生の理由は、近似されたHF部分は、調性(tonal)信号部分のハーモニックな関係を、互いに考慮しないコピー操作に基づいているからである。同様のことがLF部分とHF部分との間のハーモニックな関係にも当てはまり、また、HF部分それ自身の中のハーモニックな関係にも当てはまる。SBRを用いた場合、例えばLF領域と生成されたHF領域との間の境界において、粗い音響的印象が時折発生する。なぜなら、例えば図4aに示すように、LF領域からHF領域へとコピーされた調性部分は、全体的な信号の中で、LF領域の調性部分にスペクトル的に密に隣接するように配置される可能性があるからである。図4aには、401,402,403,404にピークを備えたオリジナル信号と、405,406,407,408にピークを備えたテスト信号とを示す。図4aでは境界は4250Hzであったように、調性部分をLF領域からHF領域へとコピーすることで、テスト信号内の左の2つのピークの距離は、ハーモニックなラスタの元となる基本周波数よりも小さくなり、その結果、粗さの知覚を招いてしまう。] 図4a
[0010] 非特許文献12に開示されるように、トーン補償された周波数グループの幅がその中央周波数が増大すると共に増大することから、異なる周波数グループ内のLF領域にある正弦波部分は、それをHF領域へとコピーすることで、同じ周波数グループ内に存在することになる可能性がある。このこともまた、図4bに見られるように、粗い聴覚的印象をもたらしてしまう。ここでは特に、LF領域をHF領域へとコピーすることで、テスト信号内にオリジナル信号よりも濃密な調性的構造をもたらすことが示されている。オリジナル信号は、参照番号410で特に示されるように、高周波領域内のスペクトルに亘って比較的均一に配分されている。対照的に、テスト信号411は、特にこの高周波領域内のスペクトルに亘って比較的不均一に配分されており、従って明確にオリジナル信号410よりも高い調性を持つ。] 図4b
[0011] WO98/57436
米国特許第5,455,888号
米国特許出願08/951,029
米国特許第6,895,375号
米国特許出願6,549,884号]
先行技術

[0012] M.Dietz, L. Liljeryd, K. Kjorling and 0. Kunz, "Spectral Band Replication, a novel approach in audio coding," in 112thAES Convention, Munich, May 2002
S.Meltzer, R. Bohm and F. Henn, "SBRenhanced audio codecs for digital broadcasting such as "Digital Radio Mondiale" (DRM)," 112th AES Convention, Munich, May 2002
T.Ziegler, A. Ehret, P. Ekstrand and M. Lutzky, "Enhancing mp3 with SBR: Features and Capabilities of the new mp3PRO Algorithm," in 112th AES Convention, Munich, May 2002
International Standard ISO/IEC14496-3:2001/FPDAM l, "Bandwidth Extension,"ISO/IEC, 2002
E.Larsen, R.M. Aarts, and M. Danessis, “Efficient high-frequency bandwidth extension of music and speech”, In AES 112th Convention, Munich, Germany, May 2002
K.Kayhko, A Robust Wideband Enhancement for Narrowband Speech Signal; Research Report, Helsinki University of Technology, Laboratory of Acoustics and Audio signal Processing,2001
J. Makinen et al.: AMR-WB+: a new audio coding standard for 3rd generation mobile audioservices Broadcasts,IEEE,ICASSP ’05
R.M. Aarts, E. Larsen, and O. Ouweltjes, “A unified approach to low- and high frequency bandwidth extension”, AES 115th Convention, New York, USA, October 2003
E.Larsen and R.M. Aarts, “Audio Bandwidth Extension - Application to psychoacoustics, Signal Processing and Loudspeaker Design”, John Wiley & Sons, Ltd., 2004
E.Larsen, R.M. Aarts, and M. Danessis, “Efficient high-frequency bandwidth extension of music and speech”, AES 112th Convention, Munich, May 2002
J.Makhoul, “Spectral Analysis of Speech by Linear Prediction”, IEEE Transactions on Audio and Electroacoustics, AU-21(3), June 1973
Zwicker,E. and H. Fastl (1999), Psychoacoustics: Facts and models. Berlin -Springerverlag
“The phase Vocoder: A tutorial", Mark Dolson, Computer Music Journal, vol. 10, no. 4, pp. 14 -- 27, 1986
“New phase Vocoder techniques for pitch-shifting, harmonizing andotherexotic effects", L. Laroche und M. Dolson, Proceedings 1999 IEEE Workshop on applications of signal processing to audio and acoustics, New Paltz, New York, October 17 - 20, 1999, pages 91 to 94
"New approaches to transient processing interphase vocoder", A. Robel, Proceeding of the 6th international conference on digital audio effects (DAFx-03), London, UK, September 8-11, 2003, pages DAFx-1 to DAFx-6
"Phase-locked Vocoder", Meller Puckette, Proceedings 1995, IEEE ASSP, Conference on applications of signal processing to audio and acoustics]
発明が解決しようとする課題

[0013] そこで、本発明の目的は、高品質な帯域拡張を達成すると同時に複雑さにおいては低減された信号処理を達成することであり、且つ一方で、少ない遅延と低い演算能力とで構成することができ、従って処理速度と必要メモリに関してはハードウエアの条件が低いプロセッサにも搭載できるような構成を達成することである。]
課題を解決するための手段

[0014] この目的は、請求項1に記載の帯域拡張装置、請求項13に記載の帯域拡張方法、又は請求項14に記載のコンピュータプログラムによって達成される。]
[0015] 本発明の帯域拡張の概念は、1より大きな伸張係数により伸張された時間信号としてのオーディオ信号のバージョンを生成するための時間的な信号伸張と、これに続く、転位された信号を得るための時間信号のデシメーション(decimation:間引き)と、に基づくものであり、転位された信号は、その後、例えば単純な帯域通過フィルタによって濾波することで高周波信号部分を抽出し、この高周波部分に対して、振幅に関し歪又は変化を与えることにより、オリジナルの高周波部分に対する良好な近似を得るものである。代替方法として、帯域通過フィルタによる濾波は信号伸張の前に実行されても良く、その場合は、伸張後に、伸張信号の中に所望の周波数領域だけが存在することになり、伸張後の帯域濾波は省略されても良い。]
[0016] 一方では、ハーモニックな帯域拡張を用いた場合には、コピーまたはミラーリングの操作から発生する問題、あるいはそれら両方の問題は、ハーモニックな連続と時間信号を伸張するための信号スプレッダを使用するスペクトルの伸張とに基づいて、防止することが可能となる。他方では、時間伸張および後続のデシメーションは、ハーモニックな転位で使われている完全な解析/合成フィルタバンクよりも、単純な処理器によってさらに簡単に実行できる可能性がある。なぜなら、ハーモニックな転位では、例えば、フィルタバンクドメインにおけるパッチングをどのように行うべきかについての追加的な決定が必要だからである。]
[0017] 好適には、信号伸張のために1つの位相ボコーダが使用されるが、このボコーダは低い演算能力で構成される。2より大きな伸張係数による帯域拡張を達成するために、さらに複数の位相ボコーダが並行して使用されても良く、その場合は、特にリアルタイムアプリケーションにおいては帯域拡張の遅延は小さくあるべきなので、有利である。代わりに、例えばPSOLA法(Pitch Synchronous Overlap Add)など、他の信号伸張方法も使用可能である。]
[0018] 本発明の好適なある実施形態においては、まず最初に、LFオーディオ信号は最大周波数LFmaxを使用し位相ボコーダの助けを借りて時間方向に拡張され、即ち、信号の本来の持続時間(duration)の整数倍へと拡張される。その後、下流側のデシメータ(decimator)において、時間拡張の係数による信号のデシメーションが実行され、全体としてスペクトルの伸張がもたらされる。これがオーディオ信号の転位に相当する。最後に、結果として得られる信号は、帯域通過により、(拡張係数−1)・最大周波数LFmax〜拡張係数・最大周波数LFmaxの領域へと濾波される。代わりに、伸張とデシメーションとにより生成された個々の高周波信号に対し、最終的にはそれらが完全な高周波領域(即ちLFmaxからk*LFmaxへの領域)に亘って付加的にオーバーレイするように、帯域通過の濾波が実行されても良い。このような濾波は、ハーモニクスのより高いスペクトル密度が求められる場合に有効である。]
[0019] 本発明の好適なある実施形態においては、ハーモニックな帯域拡張の方法は、複数の異なる拡張係数に対し並行して実行される。この並行処理に代わる方法として、直列的に操作され中間結果がバッファされる、単一の位相ボコーダが使用されても良い。これらの方法で、いかなる帯域拡張カットオフ周波数も達成できる可能性がある。さらに他の方法として、信号の拡張は周波数方向で直接的に実行されても良い。即ち、位相ボコーダの機能的原理に対応して、特に双対演算(dual operation)により実行されても良い。]
[0020] 本発明の実施形態における利点として、ハーモニシティまたは基本周波数に関し、信号の解析が不要である点が挙げられる。]
[0021] 次に、本発明の好適な実施の形態を、添付の図面を参照しながら説明する。]
図面の簡単な説明

[0022] オーディオ信号の帯域拡張のための、本発明の概念を示すブロック図である。
オーディオ信号の帯域拡張のための、本発明の1つの態様に従う装置を示すブロック図である。
図2aに示す概念の、過渡検出器を備えた改良型を示す。
本発明の帯域拡張の時間軸上の所定のポイントにおけるスペクトルを使用した信号処理の概略図である。
オリジナル信号と、粗い音響的印象を与えるテスト信号との比較を示す。
オリジナル信号と、他の粗い音響的印象を与えるテスト信号との比較を示す。
ある位相ボコーダのフィルタバンク構成の概略を示す。
図5aに示す1つのフィルタの詳細を示す。
図5aに示すフィルタチャネル内における、振幅信号及び周波数信号の操作を概略的に示す。
ある位相ボコーダにおける変換操作の構成を概略的に示す。
帯域拡張の過程における符号器側について概略的に示す。
オーディオ信号の帯域拡張の過程における復号器側について概略的に示す。] 図2a 図5a
実施例

[0023] 図1は、オーディオ信号の帯域拡張のためのある装置または方法を示す。単に例示的に図1を装置として示しているが、図1は帯域拡張のための方法を示すフローチャートとして理解されても良い。この図の中で、オーディオ信号は入力100においてこの装置に入力される。このオーディオ信号は次に信号スプレッダ(signal spreader)102に入力され、この信号スプレッダ102は、当該オーディオの1よりも大きな伸張係数により時間的に伸張された時間信号としての1つのバージョンを生成する。図1に示す実施例における伸張係数は、伸張係数入力104を介して供給される。信号スプレッダ102の出力103に存在する伸張されたオーディオ時間信号は、次にデシメータ105へと供給され、このデシメータ105は、時間的に伸張されたオーディオ時間信号103を、伸張係数104に整合するデシメーション係数によりデシメートする(間引く)よう構成されている。この点については、図1内では、点線で示されデシメータ105へと繋がる伸張係数入力104により概略的に示されている。1つの実施例においては、信号スプレッダにおける伸張係数はデシメーション係数の逆数に等しい。例えば、もし信号スプレッダ102において伸張係数2.0が適用された場合、デシメーション係数0.5によるデシーメートが実行される訳である。しかし、もしデシメーション係数2によるデシメートが実行された場合、即ち各2番目のサンプル値が省略された場合には、デシメーション係数は伸張係数と同一となる。伸張係数とデシメーション係数との間の他の比率、例えば整数の比率又は有理数の比率もまた、構成により使用可能である。しかし、最大のハーモニックな帯域拡張は、伸張係数がデシメーション係数と同一である場合か、或いはデシメーション係数の逆数に等しい場合にそれぞれ達成される。] 図1
[0024] 本発明の好適な実施例においては、デシメータ105は、例えば(伸張係数2の場合に)各2番目のサンプルを省略し、その結果、デシメートされたオーディオ信号は、オリジナル・オーディオ信号100と同じ時間的長さを備えることになる。他のデシメーションアルゴリズム、例えば重み付き平均値を形成するアルゴリズム、又は過去あるいは未来からの傾向を考慮するアルゴリズムも、それぞれ使用可能である。しかし、サンプルの省略により、必要な演算能力を非常に低く抑えた単純なデシメーションを構成することができる。デシメータ105により生成されたデシメート済の時間信号106は、フィルタ107へと供給される。フィルタ107は、デシメート済のオーディオ信号106から、この実施例の装置の入力におけるオーディオ信号100の中に含まれていない周波数領域を含む帯域通過信号108を抽出するように構成されている。この実施例では、フィルタ107はデジタル帯域通過フィルタ、例えばFIR又はIIRフィルタとして構成されても良く、或いはまた、アナログ帯域通過フィルタとして構成されても良い。しかし、デジタル構成の方がより好適である。さらに、フィルタ107は次のような構成を持つことが望ましい。即ち、操作102及び105により生成された高域のスペクトル領域を抽出し、他方で、オーディオ信号100によりカバーされている低域のスペクトル領域はできるだけ抑制するという構成である。しかし、この実施例においては、フィルタ107の構成は次のようであっても良い。即ち、フィルタ107はまた、オリジナル信号100内に含まれたある帯域通過信号としての周波数を備えた信号部分を抽出し、この抽出された帯域通過信号は、オリジナル・オーディオ信号100内には含まれていなかった少なくとも1つの周波数帯域を含むように構成されても良い。]
[0025] フィルタ107により出力された帯域通過信号108はディストータ(distorter)109へと入力され、このディストータ109は、帯域通過信号が所定の包絡を持つように帯域通過信号に対して歪ませる。歪みの生成に使用されるこの包絡情報は、符号器から供給されるなど、外部から入力されても良い。さらにこの包絡情報は、例えばオーディオ信号100からのブラインド外挿(blind extrapolation)による生成や、又は、オーディオ信号100の包絡と共に指標化され復号器側において記憶されたテーブルに基づく生成など、内部で生成されても良い。ディストータ109から出力され歪められた帯域信号110は、最後に結合器111へと入力される。この結合器111は、(遅延ステージは図1には示していないが)構成により遅延が与えられたオリジナル・オーディオ信号100に対し、歪められた帯域信号110を結合させ、その出力112において帯域拡張されたオーディオ信号を生成する。] 図1
[0026] 他の実施例においては、ディストータ109と結合器111の順序が、図1に示す場合とは逆となる。この場合、フィルタ出力信号、即ち帯域通過信号108は直接的にオーディオ信号100と結合され、結合器111から出力された結合済信号の高域の歪みは、結合の後にディストータ109により与えられる。この実施例においては、結合済信号がある所定の包絡を持つように、ディストータが結合済信号を歪ませる。この実施例の結合器は、帯域通過信号108とオーディオ信号100とを結合させ、帯域に関して拡張されたオーディオ信号を取得する。このような、結合の後で歪みが与えられる実施例においては、ディストータ109の構成は次のようであることが望ましい。即ち、ディストータ109はオーディオ信号100又はこのオーディオ信号100から供給された結合済信号の帯域に対してそれぞれ影響を与えないようにするのが好ましい。なぜなら、オーディオ信号の低帯域は高品質の符号器により符号化されていたのであり、復号器側における高帯域の合成の際には、帯域拡張による干渉を受けるべきではないからである。] 図1
[0027] 本発明の実施例を詳細に説明する前に、本発明の長所が活用される図7a,図7bを参照しながら帯域拡張のシナリオについて説明する。あるオーディオ信号が低域/高域通過結合フィルタ702の入力700へと入力される。この低域/高域通過結合フィルタは、一方では低域通過部分(LP)を含み、図7aの703で示すように、オーディオ信号700の低域通過濾波されたバージョンを生成する。この低域通過濾波されたオーディオ信号は、オーディオ符号器704により符号化される。このオーディオ符号器は、例えばMP3符号器(MPEG1レイヤ3)か、MP4符号器としても知られ、かつMPEG4標準において記載されているAAC符号器である。他のオーディオ符号器であって、帯域制限されたオーディオ信号703の透明な表示、或いは特に聴覚心理的に透明な表示を提供できる符号器も符号器704として使用されても良く、その結果、完全に符号化され、聴覚心理的に符号化され、或いは好適かつ聴覚心理的に透明に符号化されたオーディオ信号705をそれぞれ生成する。オーディオ信号の高帯域は、フィルタ702の「HP」で示す高域通過部分により出力706において出力される。オーディオ信号の高域通過部分、即ち高帯域又はHP帯域は、HP部分とも呼ばれるが、パラメータ計算器707へと入力され、このパラメータ計算器707は様々なパラメータを計算する。これらのパラメータは、例えば各聴覚心理周波数グループ又は各バークスケール(Bark scale)のバーク帯域(Bark band)のためのスケールファクタの表示を用いた、例えば高帯域706の比較的粗い分解能におけるスペクトル包絡などである。このパラメータ計算器707は、他のパラメータとして、高帯域におけるノイズカーペットを計算してもよく、その帯域毎のエネルギーは、当該帯域内の包絡のエネルギーに関係していることが望ましい。さらに、パラメータ計算器707は、他のパラメータとして、高帯域の各部分帯域の調性値(tonality measure) を計算してもよく、この値は、1つの帯域の中でスペクトルエネルギーがどのように配分されるかを示すものである。即ち、その帯域内のスペクトルエネルギーが比較的均一に配分されている場合には、非調性(non-tonal)の信号がこの帯域に存在することになり、この帯域内のエネルギーがこの帯域内のある点に比較的強く集中している場合には、むしろ調性(tonal)の信号がこの帯域に存在することになる。さらなるパラメータとして、振幅と周波数に関して高帯域内で比較的強く突出しているピークを明示的に符号化するものがある。なぜなら、この帯域拡張の概念は、高帯域内において顕著に正弦曲線を描く部分を明示的に符号化せずに再現する場合においては、そのような部分を非常に初歩的な方法でのみ再現するか、あるいは全く再現しないからである。] 図7a 図7b
[0028] いずれにせよ、パラメータ計算器707は高帯域のためのパラメータ708だけを生成し、このパラメータ708には、例えば差分符号化、予測又はハフマン符号化など、量子化されたスペクトル値に対してオーディオ符号器704においても実行されるような類似のエントロピー削減方法が施されてもよい。パラメータ表示708とオーディオ信号705とは、次にデータストリーム・フォーマッタ709へと入力され、このフォーマッタ709は出力側データストリーム710を出力し、この出力側データストリーム710は、典型的には、例えばMPEG4標準に規格化されている所定のフォーマットに従うビットストリームである。]
[0029] 復号器側の特に本発明に関して適切と言える構成を、以下に図7bを参照しながら説明する。データストリーム710はデータストリーム解釈器(interpreter)711に入力され、この解釈器711はオーディオ信号部分705からパラメータ部分708を分割する。パラメータ部分708はパラメータ復号器712により復号化され、復号済のパラメータ713が得られる。これと並行して、オーディオ信号部分705はオーディオ復号器714により復号化され、その結果、図1においては番号100で示されたオーディオ信号が得られる。] 図1 図7b
[0030] 実施例にもよるが、オーディオ信号100は第1出力715を介して出力されても良い。その結果、この出力715では、狭い帯域幅を持ち、従って品質も低いオーディオ信号が取得されるかもしれない。しかし、この品質向上のために、本発明の帯域拡張720が実行される。この帯域拡張720は例えば図1に示すように実施され、その出力側には、拡張済帯域又は広い帯域をそれぞれ有し、かつ高品質を有するオーディオ信号112を取得する。] 図1
[0031] 図1に示す帯域拡張の好適な実施例であり、かつ好適には図7bにおいてはブロック712の中で使用される実施例を、図2aを参照しながら以下に説明する。図2aは、まず「オーディオ信号とパラメータ」と記載したブロック200を含み、このブロック200は、図7bにおいてはブロック711、712、714に対応しても良い。ブロック200はその出力側において、復号化されたパラメータ713と同様に出力信号100を出力し、この出力信号100は、例えば調性補正(tonality correction)109aや包絡調整109bのような様々な歪みのために使用されても良い。調性補正109aと包絡調整109bとによりそれぞれ生成又は補正された信号は、結合器111へと供給され、出力側の拡張された帯域を持つオーディオ信号112が取得される。] 図1 図2a 図7b
[0032] 好適には、図1における信号スプレッダ102は、位相ボコーダ202aにより構成される。図1のデシメータ105は、好適には単純なサンプルレート変換器205aにより構成される。帯域通過済信号の抽出のためのフィルタ107は、好適には単純な帯域通過フィルタ207aにより構成される。特に、位相ボコーダ202aとサンプルレートデシメータ205aとは、伸張係数=2を用いて操作される。] 図1
[0033] 好適には、位相ボコーダ202bとデシメータ205bと帯域通過フィルタ207bとから成るさらなる「列(train)」を備え、このフィルタ207bの出力においてさらなる帯域通過信号を抽出する。この帯域通過信号は、帯域通過フィルタ207aの高域カットオフ周波数とオーディオ信号100の最大周波数の3倍との間の周波数範囲を持つ。]
[0034] 加えて、係数kによるオーディオ信号の伸張を達成するk−位相のボコーダ202cが準備され、この時kは好適には1よりも大きな整数である。デシメータ205cが位相ボコーダ202cの下流側に連結され、係数kを用いてデシメートする。最後に、デシメートされた信号は帯域通過フィルタ207cへと入力され、この帯域通過フィルタ207cの低域カットオフ周波数は隣接する分枝の高域カットオフ周波数と同一であり、フィルタ207cの高域カットオフ周波数はオーディオ信号100の最大周波数のk倍に等しい。全ての帯域通過信号は結合器209によって結合され、この結合器209は例えば加算器として構成されても良い。代わりに、結合器209は重み付きの加算器として構成されても良く、実施例にもよるが、下流側にある要素109a及び109bとは独立して、低帯域よりも高帯域をより強く減衰させるものでも良い。加えて、図2aに示すシステムは遅延ステージ211を含み、結合器111において、例えばサンプル毎の加算などのように同期化された結合が実行されることを保証する。] 図2a
[0035] 図3は、図1又は図2aに示された処理の中で発生し得る様々なスペクトルの概略図である。図3の(1)に示す波形は、例えば図1内の100や図7a内の703において存在する帯域制限されたオーディオ信号を示す。この信号は、好適には信号スプレッダ102によりオリジナル信号の持続期間の整数倍へと伸張され、その後、その整数を係数としてデシメートされ、その結果、スペクトルの全体的な伸張は図3の(2)に示すような波形をもたらす。図3の(2)には、通過帯域300を有する帯域通過フィルタによって抽出されたHF部分が図示されている。図3の第3の波形(3)は、帯域通過信号を歪ませる前に、帯域通過信号が既にオリジナル・オーディオ信号100と結合されている場合のような変形例を示す。次に、図3の波形(4)で示すように、歪みのない帯域通過信号との結合スペクトルが得られる。この時、高帯域には歪みが与えられ、一方で、可能である限り低帯域の修正は行なわれず、拡張された帯域を有するオーディオ信号112を取得できる。] 図1 図2a 図3 図7a
[0036] 図3の(1)で示すLF信号は、最大周波数LFmaxを有する。位相ボコーダ202aはオーディオ信号の転位を実行し、転位されたオーディオ信号の最大周波数が2LFmaxとなる。この時、結果として得られた(2)で示す信号は、LFmaxから2LFmaxまでの領域へと帯域通過濾波されている。概略的に言えば、伸張係数がk(k>1)で示される時、帯域通過フィルタは(k−1)・LFmaxからk・LFmaxまでの通過帯域を持つ。図3に示す処理は、所望の最高周波数k・LFmaxが達成されるまで様々な伸張係数に対して反復され、この時k=最大拡張係数kmaxである。] 図3
[0037] 次に、図5と図6とを参照しながら、本発明にかかる位相ボコーダ202a,202b,202cの好適な実施例を説明する。図5aはある位相ボコーダのフィルタバンク構成を示し、ここでは、オーディオ信号は入力500へと入力され、出力510へと出力される。具体的には、図5aに概略で示されるフィルタバンクの各チャネルは、帯域通過フィルタ501と下流側の発振器502とを有する。各チャネルから来る全ての発振器の出力信号は、例えば加算器として構成され番号503で示す結合器により結合され、出力信号が取得される。各フィルタ501は、一方では振幅信号を供給し、他方では周波数信号を供給するように構成されている。これら振幅信号と周波数信号とは時間信号であり、一方の振幅信号はフィルタ501内の時間軸における振幅の変化を示し、他方の周波数信号はフィルタ501により濾波された信号の周波数の変化を示す。] 図5a 図6
[0038] 図5bはフィルタ501の概略的なセットアップを示す。図5aの各フィルタ501は図5bに示すようにセットアップされても良い。しかしこの時、2つの入力ミキサ551と加算器552とに入力される周波数fiだけはチャネル毎に異なっている。ミキサ出力信号は両方とも低域通過フィルタ553により低域通過濾波されており、これらの低域通過信号は、局部発振器周波数(LO周波数)により生成されたものであるために互いに異なっており、90度づつ位相が異なる。上側の低域通過フィルタ553は直交位相(quadrature)信号554を出力し、下側の低域通過フィルタ553は同相(in-phase)信号555を出力する。これら2つの信号、つまりI及びQは、矩形表示(rectangular representation)から振幅位相表示(magnitude phase representation)を生成する座標変換器556へと入力される。図5aのそれぞれの時間軸上の絶対値信号又は振幅信号は、出力557において出力される。位相信号は位相アンラッパ(phase unwrapper)558へと供給される。要素558の出力において、常に0〜360度の間にあるような位相値はもはや存在せず、線形的に増大する位相値が存在する。この「アンラップ」された位相値は、位相/周波数変換器559に供給される。この変換器559は、例えば単純な位相差分形成器として構成され、現時点での周波数値を得るために、現時点での位相から以前のある時点における位相を引き算する。この周波数値はフィルタチャネルiの一定周波数値fiと加算され、その結果、出力560において、時間的に変化する周波数値が取得される。出力560における周波数値は、一定成分(direct component)=fiと変動成分(alternating component)=周波数偏差とを有し、周波数偏差とは、フィルタチャネル内における信号の現時点の周波数と平均周波数fiとの間の周波数偏差を表す。] 図5a 図5b
[0039] 以上、図5a及び図5bを用いて説明したように、位相ボコーダはスペクトル情報と時間情報との分割を達成する。スペクトル情報は、各チャネルに周波数の一定成分を供給する特別なチャネル又は周波数fiの中にあり、他方、時間情報は周波数の偏差又は時間軸上の振幅の中に含まれる。] 図5a 図5b
[0040] 図5cは、本発明に従う帯域拡張のために実行される処理を示し、特に、位相ボコーダ202a内と、図5aの中で破線で区分された回路の部分で実行される処理を示す。] 図5a 図5c
[0041] 時間スケーリングのために、例えば各チャネル内の振幅信号A(t)又は各信号内の周波数信号f(t)が、それぞれデシメートされるか又は補間(interpolation)される。本発明にとっては有用である転位を目的として、信号A(t)及び信号f(t)の補間、即ち時間的な拡張または伸張が実行され、伸張済の信号A’(t)及び信号f’(t)が取得される。この時、図1で説明したように、補間は伸張係数104により制御される。位相値の補間、即ち加算器552により一定周波数を加算する前の値の補間により、図5aの個別の各発振器502の周波数は変化しない。しかし、全体的なオーディオ信号の時間的な変化は、係数2により遅くなる。その結果、オリジナルのピッチを有し時間的に伸張したトーン、即ちハーモニクスを備えたオリジナルの基本波がもたらされる。] 図1 図5a
[0042] 図5aの全てのフィルタ帯域チャネルにおいて、図5cに示す信号処理が実行され、次に、結果として得られた時間的信号が、図1のデシメータ105又は図2aのデシメータ205aによりそれぞれ間引かれることで、オーディオ信号はオリジナルの持続時間へと縮減され、他方、全ての周波数は同時に2倍化される。その結果、係数2によるピッチ転位がもたらされるが、しかし、オリジナルオーディオ信号と同じ長さ、即ち同数のサンプルを持つオーディオ信号が取得される。] 図1 図2a 図5a 図5c
[0043] 図5aで説明したフィルタ帯域の実施例に代えて、位相ボコーダの変形例が使用されても良い。この時、オーディオ信号100は、時間サンプルのシーケンスとして、FFT(高速フーリエ変換)処理器、或いはより一般的には短時間フーリエ変換処理器600へと供給される。FFT処理器600は図6に概略的に示すように構成されるが、オーディオ信号の時間ウィンドウイングを実行し、次に、FFTにより振幅スペクトルと位相スペクトルとの両方を計算するものである。この時、オーディオ信号の強くオーバーラップしている時間ブロックに関係する連続したスペクトルを計算する。] 図5a 図6
[0044] 極端な場合には、全ての新たなオーディオ信号サンプルに対して1つの新たなスペクトルを計算しても良いし、例えば20番目の新たなサンプル毎に新たなスペクトルを計算しても良い。2つのスペクトル間にあるサンプルの距離aは、好適には制御器602により与えられる。制御器602は、さらにIFFT(逆高速フーリエ変換)処理器604へも出力するよう構成され、この処理器604はオーバーラップ処理を実行する。具体的には、IFFT処理器604は、ある振幅スペクトルと位相スペクトルとに基づいてスペクトル毎に1つのIFFTを実行することで、逆の短時間フーリエ変換を実行し、次に、オーバーラップ加算操作を実行し、その結果、時間ドメイン信号を得る。このオーバーラップ加算操作は、分析ウィンドウの影響を排除することになる。]
[0045] 2つのスペクトルがIFFT処理器604により処理される時、2つのスペクトル間の距離bにより時間信号の伸張が実行され、この距離bはFFTスペクトルの生成におけるスペクトル間の距離aよりも長い。基本的な考え方は、オーディオ信号を、単に分析FFTよりも大きな間隔を有するように逆FFTにより伸張することである。その結果、合成されたオーディオ信号内のスペクトルは、オリジナル・オーディオ信号内よりも遅い速度で変化する。]
[0046] もし、ブロック606における位相再スケーリングがなかったと仮定すれば、その構成は周波数アーチファクトをもたらしてしまうだろう。例えば、単一の周波数binを考え、この周波数に対して45度ずつ連続的に位相値が変化するものとする。つまり、このフィルタ帯域内の信号は、各時間区間毎に一周期の8分の1の割合で、即ち45度ずつ、位相において増大することを意味し、ここでの時間区間とは、連続するFFTの間の時間区間である。もし、逆FFTの相互間隔がより離れているならば、45度の位相増大はより長い時間区間に亘って発生するということになる。つまり、この信号部分の周波数が意図せずに減少したことになる。このような周波数の減少というアーチファクトを防止するため、位相は、オーディオ信号が時間的に伸張された時の係数と正に同一の係数により再スケールされる。各FFTスペクトル値の位相は、このように係数b/aにより増大させられ、その結果、上述の意図しない周波数の減少を防止することができる。]
[0047] 図5cに示す実施例においては、図5aのフィルタバンク構成の中の各信号発振器で振幅/周波数制御信号の補間による伸張が行なわれたが、図6における伸張は、2つのFFTスペクトル間の距離よりも長い2つのIFFTスペクトル間の距離、即ちaよりも長いbにより達成される。この時、アーチファクトを防止するために、係数b/aにより位相再スケーリングが実行される。] 図5a 図5c 図6
[0048] 位相ボコーダの詳細な説明に関しては、非特許文献13、非特許文献14、非特許文献15、非特許文献16、特許文献5の文献を参照されたい。]
[0049] 図2bは、図2aに記載のシステムの改良型を示し、オーディオ信号の現時点の時間的部分が過渡部分を含むか否かを決定する過渡検出器250を使用するものである。過渡部分とは、現実にオーディオ信号が全体的に大きく変化するという事実を意味し、例えば1つの時間的部分から後続の時間的部分への間に、オーディオ信号のエネルギーが50%以上変化する、即ち増加又は減少するという事実を意味する。しかし、この50%というしきい値は単なる一例であって、これより小さい値でも良いし、大きい値でも良い。代わりに、例えば有声音から歯擦音への会話において過渡を検出するために、エネルギー分布の変化を考慮しても良い。] 図2a 図2b
[0050] オーディオ信号の過渡部分が検出された場合、ハーモニックな転位は実行されず、過渡の時間領域の間、図2bのブロック260で示すように、非ハーモニックなコピー操作か、非ハーモニックなミラー操作か、あるいは他の帯域拡張アルゴリズムへの切替が実行される。その後、もしこのオーディオ信号がもはや過渡ではないと検出された場合には、図1における要素102、105で示すように、ハーモニックな転位が再度実行される。これは、図2bにおいてはブロック270で示される。] 図1 図2b
[0051] オーディオ信号のある時間的な部分が過渡であるか非過渡であるかという事実によって時間的にオフセット状態で到着する、ブロック270の出力とブロック260の出力とは、結合器280へ供給され、この結合器280は時間に亘る帯域通過信号を出力し、この帯域通過信号は、例えば図2aのブロック109a内の調性補正へと供給されても良い。代わりに、ブロック280による結合は、例えば加算器111の後で実行されても良い。しかし、その場合には、オーディオ信号の変換ブロック全体について、過渡特性が推定される。もしフィルタバンク構成がブロック単位で作動する場合には、そのような各ブロックについて、それぞれ過渡又は非過渡の決定が行なわれる。] 図2a
[0052] 図2aに記載し、図5及び図6に関してより詳細に説明した、位相ボコーダ202a,202b,202cは、非過渡信号部分の処理の場合よりも過渡信号部分の処理の場合において、より多くのアーチファクトを生成することから、図2b内のブロック260で説明したような、非ハーモニックなコピー操作又はミラー操作への切替が実行される。その代わりに、例えばLarocheによる専門書である上述の非特許文献14、又は上述の特許文献5に示されるように、過渡への位相リセットもまた実行されても良い。] 図2a 図2b 図6
[0053] 上述のように、スペクトルのHF部分を生成した後に、ブロック109a及び109bにおいて、スペクトル形成とノイズのオリジナル値への調整が実行される。このスペクトル形成は、例えばスケールファクタか、dB(A)-重み付きのスケールファクタか、又は線形予測の助けを借りて実行されても良く、特に線形予測の場合には、時間/周波数変換とそれに続く周波数/時間変換とが不要であるという長所がある。]
[0054] 本発明は、位相ボコーダを使用することで、スペクトルが周波数の増大につれて伸張し、常に整数倍の伸張により正確にハーモニックに連続するという点で有利である。そのため、LF領域のカットオフ周波数における粗さの結果は除去され、スペクトルのHF部分が余りにも密に占有されたことによる干渉は防止される。さらに、フィルタバンク・パッチング操作を必要としないような、効率的な位相ボコーダの構成も使用することができる。]
[0055] 上述の方法に代えて、例えばPSOLA法(Pitch Synchronous Overlap Add)など、他の信号伸張方法も使用可能である。このPSOLA法は、音声信号の記録がデータベースの中に位置する合成方法である。これら音声信号が周期的な信号である限り、基本周波数(ピッチ)の情報を持ち、各周期の開始はマークされている。この合成方法においては、これらの周期はあるウィンドウ関数を用いて所定の条件により切り離され、帯域拡張信号に対して加算されて適切な位置に合成される。この時、所望の基本周波数がデータベース・エントリの基本周波数よりも高いか低いかによって、上記周期はオリジナル内における状態よりもより緻密に、あるいはより粗い状態に、順応して結合される。音響の持続時間を調整するために、周期は無視しても良いし、2倍で出力されても良い。この方法はTD−PSOLAとも呼ばれ、このTDとは時間ドメインを意味し、この方法が時間ドメインで作動することを強調するものである。さらなる発展型として、MBROLA法(MultiBand Resynthesis OverLap Add method)がある。この方法では、データベース内のセグメントは前処理により一定の基本周波数を持つように処理され、ハーモニックの位相位置が正規化される。これにより、1つのセグメントから次のセグメントへの変化の合成において、知覚可能な干渉は少なくなり、より高い音声品質が達成される。]
[0056] さらに他の実施例では、オーディオ信号は伸張の前に既に帯域通過濾波されており、その結果、伸張及びデシメーションの後の信号は、既に所望の部分を含んでおり、後続の帯域通過濾波が省略可能となる。この場合には、帯域通過フィルタは、帯域拡張の後では除去されるであろうオーディオ信号部分がこの帯域通過フィルタの出力信号の中にまだ含まれているように、設定される。つまり、帯域通過フィルタの出力信号は、伸張及びデシメーションの後にはオーディオ信号106の中に含まれていない周波数領域を含む。この周波数領域を持つ信号は、合成された高周波信号を形成する所望の信号である。この実施例では、ディストータ109は、帯域通過信号を歪ませるのではなく、帯域通過濾波済のオーディオ信号から導出された、伸張されかつデシメートされた信号を歪ませる。]
[0057] さらに注目すべきは、例えばオリジナル信号と伸張された信号とをミキシングすることにより、伸張された信号はオリジナル信号の周波数領域においても役立つことがあり、そのため、「厳密な」通過帯域が必要でなくなるという点である。この伸張された信号は、この伸張された信号が周波数に関してオリジナル信号とオーバーラップするような周波数帯域内でオリジナル信号とミキシングされるのが良く、このオーバーラップした領域でオリジナル信号の特性に修正を加えることができる。]
[0058] さらに注目すべきは、ディストータ109とフィルタ107との機能は、1つのフィルタブロックの中で構成されても良いし、あるいは2つのカスケードされた個別のフィルタで構成されても良い。歪みの生成は入力信号に依存して実行されるので、このフィルタブロックの振幅特性は変化し得る。しかし、その周波数特性は入力信号から独立している。]
[0059] 実施例によるが、図1に示すように、最初にオーディオ信号全体が伸張され、デシメートされ、次に濾波されても良く、この濾波は要素107と109との操作に対応する。歪み生成操作は濾波の後でも良いし、同時に行なわれても良い。その意味では、デジタルフィルタの形式を持つ濾波/歪み生成の結合ブロックが適切である。代わりに、(帯域通過)フィルタ(107)の前に、2つの異なるフィルタ要素を用いた歪み生成操作が実行されても良い。] 図1
[0060] さらに他の方法として、伸張の前に帯域通過濾波が実行され、デシメートの後には歪み生成操作(109)だけが続くようにしても良い。これらの機能のために2つの異なる要素を使用することが望ましい。]
[0061] さらに他の方法として、また上述の変形例の全てにおいて、歪み生成は合成信号とオリジナルオーディオ信号との結合の後で実行されても良い。この歪み生成は、例えば、オリジナルオーディオ信号の周波数領域においては、濾波されるべき信号に対する影響が全くないか又は非常に小さく、しかし、拡張された周波数領域においては所望の包絡を生成するようなフィルタを用いたものでも良い。その場合にも、抽出と歪み生成のために異なる2つの要素を使用することが望ましい。]
[0062] 本発明の概念は、全帯域幅を使用できないあらゆるオーディオ・アプリケーションに対して適している。例えば、デジタルラジオやインターネット・ストリーミングを用いたオーディオコンテンツの普及のため、及びオーディオコミュニケーション・アプリケーションのために、本発明の概念が使用可能である。]
[0063] 実施条件に依るが、本発明の実施例は、ハードウエア又はソフトウエアにおいて情報信号を分析するために実現可能である。その実施の形態は、その中に格納される電子的に読出し可能な制御信号を有し、本発明の方法が実行されるようにプログラム可能なコンピュータシステムと協働するデジタル記憶媒体、具体的にはフレキシブルディスク又はCDなどのデジタル記憶媒体を使用して実行することができる。一般に、本発明の実施形態は、当該コンピュータプログラム製品がコンピュータ上で作動するときに、機械読取が可能なキャリアに格納された、本発明の方法を実行するプログラムコードを有するコンピュータプログラム製品として実現することができる。換言すれば、本発明の実施形態は、当該コンピュータプログラム製品がコンピュータ上で作動するときに、前記方法を実行するように作動することができるコンピュータプログラムとして実現できる。]
[0064] 100オーディオ信号
102信号スプレッダ
104伸張係数入力
105デシメータ
106デシメート済のオーディオ信号
107フィルタ
108歪み信号
109ディストータ
111結合器
112帯域拡張されたオーディオ信号]
权利要求:

請求項1
オーディオ信号の帯域拡張のための装置であって、1よりも大きな伸張係数によって時間的に伸張された時間信号としてのオーディオ信号のバージョンを生成する信号スプレッダ(102)と、前記伸張係数に整合するデシメーション係数により、前記オーディオ信号の時間的に伸張されたバージョン(103)をデシメートするためのデシメータ(105)と、前記デシメート済のオーディオ信号(106)から前記オーディオ信号(100)には含まれていない周波数領域を含む歪み信号を抽出するための、又は、前記信号スプレッダ(102)による伸張の前に前記オーディオ信号からある信号を抽出するためのフィルタ(107,109)であって、この信号は伸張及びデシメート後の前記オーディオ信号(106)の中に含まれていない周波数領域を含み、前記歪み信号(108)は、前記歪み信号(108)、前記デシメート済のオーディオ信号、又はその結合信号が所定の包絡を有するように生成されるフィルタと、前記歪み信号又は未歪み信号と、前記オーディオ信号(100)とを結合し、帯域拡張されたオーディオ信号(112)を取得する結合器(111)と、を含むことを特徴とする装置。
請求項2
前記信号スプレッダは1よりも大きな整数の伸張係数を使用し、前記デシメータ(105)は前記伸張係数に対して等しいか又は逆数となるデシメーション係数を使用し、前記フィルタ(107)はある帯域通過信号を抽出し、この帯域通過信号が、前記信号スプレッダ及び前記デシメータを用いた伸張及びデシメートにより再生成されたある周波数領域を含むことを特徴とする、請求項1に記載の装置。
請求項3
前記信号スプレッダ(102)は、前記オーディオ信号(100)のピッチが変化しないように前記オーディオ信号を伸張することを特徴とする、請求項1又は2に記載の装置。
請求項4
前記信号スプレッダ(102)は、前記オーディオ信号の持続時間が増大し、且つ伸張されたオーディオ信号の帯域幅と前記オーディオ信号の帯域幅とが等しくなるように、前記オーディオ信号を伸張させることを特徴とする、請求項1乃至3のいずれか1項に記載の装置。
請求項5
前記信号スプレッダ(102)は位相ボコーダ(202a,202b,202c)を有することを特徴とする、請求項1乃至4のいずれか1項に記載の装置。
請求項6
前記位相ボコーダは、フィルタバンク構成又はフーリエ変換器構成であることを特徴とする、請求項5に記載の装置。
請求項7
前記信号スプレッダ(102)は係数2により前記信号を伸張して第1の伸張信号を取得し、係数3により前記信号を伸張して第2の伸張信号を取得する追加の信号スプレッダ(202b)をさらに備え、前記デシメータ(105)は前記第1の伸張信号を係数2によりデシメートし、前記第2の伸張信号を係数3によりデシメートする追加のデシメータ(205b)をさらに備え、前記フィルタ(107)は、前記第1のデシメータから出力された信号の中に新たに生成されたある帯域を抽出するか、又は、伸張の前に濾波を実行し、前記第1のデシメートされた信号とは別の前記第2のデシメートされた信号からある帯域を抽出するか、又は、伸張の前に濾波を実行する第2の帯域通過フィルタ(207b)をさらに備え、抽出された信号を加算するか、又は、抽出され歪ませられた信号を加算するための加算器(209)をさらに備えることを特徴とする、請求項1乃至6のいずれか1項に記載の装置。
請求項8
追加の位相ボコーダ(202c)と、その下流のデシメータ(205c)と、その下流の帯域通過フィルタ(207c)とを含む追加のグループを備え、当該グループは、伸張係数がkに設定され、前記加算器(209)に供給される追加の帯域通過信号を生成することを特徴とする、請求項7に記載の装置。
請求項9
前記信号スプレッダ(102)は、前記オーディオ信号(100)の全帯域を有するサンプルのシーケンスとしての時間的信号を出力し、前記デシメータ(105)は前記サンプルのシーケンスを入力信号として取得し、それをデシメートすることを特徴とする、請求項1乃至8のいずれか1項に記載の装置。
請求項10
送信されたパラメータ(713)に基づいて歪みを与えるディストータ(109)が設けられていることを特徴とする、請求項1乃至9のいずれか1項に記載の装置。
請求項11
前記オーディオ信号の中に過渡部分が検出された時、前記信号スプレッダ(102)又は前記デシメータ(105)を制御し、高域スペクトル部分を生成するための他の方法を実行(260)する過渡検出器(250)をさらに備えることを特徴とする、請求項1乃至10のいずれか1項に記載の装置。
請求項12
前記帯域通過信号又は前記歪ませられた帯域通過信号の調性或いはノイズを調整するための、調性/ノイズ修正モジュール(109a)をさらに備えることを特徴とする、請求項1乃至11のいずれか1項に記載の装置。
請求項13
前記信号スプレッダ(102)は複数のフィルタチャネルを有し、各フィルタチャネルは、時間的に変化する振幅信号(557)及び時間的に変化する周波数信号(560)を生成するためのフィルタと、これらの時間的に変化する信号により制御可能な発振器(502)とを有し、各フィルタチャネルは、前記時間的に変化する振幅信号(A(t))を補間して補間済の時間的に変化する振幅信号(A’(t))を取得する補間器、又は伸張係数(104)により前記周波数信号を補間して補間済の周波数信号を取得する補間器を有し、各フィルタチャネルの前記発振器(502)は、前記補間済の振幅信号又は前記補間済の周波数信号により制御されることを特徴とする、請求項1乃至12のいずれか1項に記載の装置。
請求項14
前記信号スプレッダ(102)は、前記オーディオ信号の時間サンプルのオーバーラップするブロックのための連続するスペクトルを生成するFFT処理器(600)であって、このブロックは互いの間に第1の時間間隔(a)を有しているFFT処理器と、周波数領域から時間領域へと連続的なスペクトルを変換して時間サンプルのオーバーラップするブロックを生成するIFFT処理器であり、このブロックは互いの間に前記第1の時間間隔(a)よりも長い第2の時間間隔(b)を有しているIFFT処理器と、生成されたFFTスペクトルのシーケンスのスペクトル値の位相を前記第1の時間間隔(a)と第2の時間間隔(b)との比率に従って再スケールするための位相再スケーラ(606)と、をさらに備えることを特徴とする、請求項1乃至12のいずれか1項に記載の装置。
請求項15
オーディオ信号の帯域拡張のための方法であって、1よりも大きな伸張係数によって時間的に伸張された時間信号としてのオーディオ信号のバージョンを生成するステップ(102)と、前記伸張係数に整合するデシメーション係数により、前記オーディオ信号の時間的に伸張されたバージョン(103)をデシメートするステップ(105)と、前記デシメート済のオーディオ信号(106)から前記オーディオ信号(100)には含まれていない周波数領域を含む歪み信号を抽出するステップ(107,109)、又は、前記伸張(102)の前に前記オーディオ信号からある信号を抽出するステップであって、この信号は伸張及びデシメート後の前記オーディオ信号(106)の中に含まれていない周波数領域を含み、前記歪み信号は、前記抽出された信号(108)、前記デシメート済のオーディオ信号、又は結合信号がある所定の包絡を有するように生成されるステップと、前記歪み信号又は未歪み信号と、前記オーディオ信号(100)とを結合し、帯域拡張されたオーディオ信号(112)を取得する結合ステップと、を含むことを特徴とする方法。
請求項16
コンピュータ上で実行された時に請求項15に記載の方法を実行するプログラムコードを有するコンピュータプログラム。
类似技术:
公开号 | 公开日 | 专利标题
US10586550B2|2020-03-10|Cross product enhanced harmonic transposition
JP6568566B2|2019-08-28|Encoded audio signal decoding apparatus, method and computer program
US10600427B2|2020-03-24|Harmonic transposition in an audio coding method and system
US9911431B2|2018-03-06|Processing of audio signals during high frequency reconstruction
US10522168B2|2019-12-31|Audio signal synthesizer and audio signal encoder
JP6076407B2|2017-02-08|Audio encoder and bandwidth extension decoder
US8412365B2|2013-04-02|Spectral translation/folding in the subband domain
EP2449554B1|2015-03-25|Bandwidth extension encoders, bandwidth extension decoder and phase vocoder, as well as corresponding methods and computer program
ES2377551T3|2012-03-28|Aparato, método y programa informático para generar una representación de una señal de ancho de banda ampliado basándose en una representación de señal de entrada usando una combinación de una ampliación de ancho de banda armónica y una ampliación de ancho de banda no armónica
KR100915733B1|2009-09-04|음성 신호들의 대역폭의 인공 확장을 위한 방법 및 장치
US9305564B2|2016-04-05|Apparatus and method for reproducing an audio signal, apparatus and method for generating a coded audio signal, computer program and coded audio signal
EP3244407B1|2019-11-27|Apparatus and method for modifying a parameterized representation
ES2522171T3|2014-11-13|Apparatus and method for processing an audio signal using patching edge alignment
US8837750B2|2014-09-16|Device and method for manipulating an audio signal
RU2598326C2|2016-09-20|Устройство и метод для обработки аудио сигнала, содержащего переходный сигнал
RU2543309C2|2015-02-27|Устройство, способ и компьютерная программа для того, чтобы управлять аудиосигналом, включающим переходный сигнал
US10566001B2|2020-02-18|Bandwidth extension method, bandwidth extension apparatus, program, integrated circuit, and audio decoding apparatus
US7328162B2|2008-02-05|Source coding enhancement using spectral-band replication
JP5203077B2|2013-06-05|Speech coding apparatus and method, speech decoding apparatus and method, and speech bandwidth extension apparatus and method
JP4227772B2|2009-02-18|オーディオ復号装置と復号方法およびプログラム
ES2461141T3|2014-05-16|Apparatus and procedure for generating an extended bandwidth signal
RU2665298C1|2018-08-28|Усовершенствованное гармоническое преобразование на основе блока поддиапазонов
ES2683870T3|2018-09-28|Procesador de audio y método para procesar una señal de audio usando corrección de fase
US9584906B2|2017-02-28|Mixing device, mixing signal processing device, mixing program and mixing method
EP1342230A1|2003-09-10|Enhancing perceptual performance of high frequency reconstruction coding methods by adaptive filtering
同族专利:
公开号 | 公开日
MX2010008378A|2010-08-18|
WO2009095169A1|2009-08-06|
RU2010131420A|2012-02-10|
CA2713744A1|2009-08-06|
JP5192053B2|2013-05-08|
US20110054885A1|2011-03-03|
EP2238591B1|2017-09-06|
TWI515721B|2016-01-01|
DE102008015702B4|2010-03-11|
KR101164351B1|2012-07-09|
AU2009210303A1|2009-08-06|
US8996362B2|2015-03-31|
BRPI0905795B1|2020-04-22|
CN101933087A|2010-12-29|
KR20110007083A|2011-01-21|
EP3264414A1|2018-01-03|
DE102008015702A1|2009-08-06|
ES2649012T3|2018-01-09|
AU2009210303B2|2011-11-10|
CA2713744C|2015-07-14|
CN101933087B|2014-03-26|
TW200939211A|2009-09-16|
RU2455710C2|2012-07-10|
BRPI0905795A2|2017-10-31|
EP2238591A1|2010-10-13|
引用文献:
公开号 | 申请日 | 公开日 | 申请人 | 专利标题
JPH10313251A|1997-05-12|1998-11-24|Sony Corp|オーディオ信号変換装置及び方法、予測係数生成装置及び方法、予測係数格納媒体|
JP2001521648A|1997-06-10|2001-11-06|コーディングテクノロジーズスウェーデンアクチボラゲット|スペクトル帯域複製を用いた原始コーディングの強化|
JPH11215006A|1998-01-29|1999-08-06|Olympus Optical Co Ltd|ディジタル音声信号の送信装置及び受信装置|
WO2006107838A1|2005-04-01|2006-10-12|Qualcomm Incorporated|Systems, methods, and apparatus for highband time warping|
WO2006107837A1|2005-04-01|2006-10-12|Qualcomm Incorporated|Methods and apparatus for encoding and decoding an highband portion of a speech signal|
WO2006107836A1|2005-04-01|2006-10-12|Qualcomm Incorporated|Method and apparatus for split-band encoding of speech signals|JP2013084018A|2010-06-09|2013-05-09|Panasonic Corp|帯域拡張方法、帯域拡張装置、プログラム、集積回路およびオーディオ復号装置|
JP2013521537A|2010-03-09|2013-06-10|フラウンホーファーゲゼルシャフトツールフォルデルングデルアンゲヴァンテンフォルシユングエー.フアー.|Apparatus and method for processing transient audio events in an audio signal when changing playback speed or pitch|US5455888A|1992-12-04|1995-10-03|Northern Telecom Limited|Speech bandwidth extension method and apparatus|
JPH10124088A|1996-10-24|1998-05-15|Sony Corp|音声帯域幅拡張装置及び方法|
US6549884B1|1999-09-21|2003-04-15|Creative Technology Ltd.|Phase-vocoder pitch-shifting|
IL151895D0|2000-03-23|2003-04-10|Interdigital Tech Corp|Efficient spreader for spread spectrum communication systems|
EP1431962B1|2000-05-22|2006-04-05|Texas Instruments Incorporated|Wideband speech coding system and method|
SE0001926D0|2000-05-23|2000-05-23|Lars Liljeryd|Improved spectral translation / folding in the subband domain|
EP1351401B1|2001-07-13|2009-01-14|Panasonic Corporation|Audio signal decoding device and audio signal encoding device|
US6895375B2|2001-10-04|2005-05-17|At&T Corp.|System for bandwidth extension of Narrow-band speech|
US20030156624A1|2002-02-08|2003-08-21|Koslar|Signal transmission method with frequency and time spreading|
JP4567412B2|2004-10-25|2010-10-20|アルパイン株式会社|音声再生機および音声再生方法|
JP2006243041A|2005-02-28|2006-09-14|Sanyo Electric Co Ltd|高域補間装置及び再生装置|
JP2006243043A|2005-02-28|2006-09-14|Sanyo Electric Co Ltd|高域補間装置及び再生装置|
JP4701392B2|2005-07-20|2011-06-15|国立大学法人九州工業大学|高域信号補間方法及び高域信号補間装置|
AU2012220369C1|2011-02-25|2017-12-14|Polyline Pipe Systems Ltd|Mobile plastics extrusion plant|USRE47180E1|2008-07-11|2018-12-25|Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V.|Apparatus and method for generating a bandwidth extended signal|
US8880410B2|2008-07-11|2014-11-04|Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V.|Apparatus and method for generating a bandwidth extended signal|
CA2908576C|2008-12-15|2018-11-27|Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V.|Audio encoder and bandwidth extension decoder|
CA2749239C|2009-01-28|2017-06-06|Dolby International Ab|Improved harmonic transposition|
US8515768B2|2009-08-31|2013-08-20|Apple Inc.|Enhanced audio decoder|
AU2010310041B2|2009-10-21|2013-08-15|Dolby International Ab|Apparatus and method for generating a high frequency audio signal using adaptive oversampling|
JP5329717B2|2010-01-19|2013-10-30|ドルビーインターナショナルアーベー|サブバンドブロックに基づく高調波移調の改善|
BR112012022745A2|2010-03-09|2018-06-05|Dolby Int Ab|"dispositivo e método para respostas de magnitude aperfeiçoada e alinhamento temporal em um vocoder de fase com base no método de extenção da largura de banda para sinais de áudio"|
CA2792452C|2010-03-09|2018-01-16|Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V.|Apparatus and method for processing an input audio signal using cascaded filterbanks|
EP2388780A1|2010-05-19|2011-11-23|Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V.|Apparatus and method for extending or compressing time sections of an audio signal|
CN102610231B|2011-01-24|2013-10-09|华为技术有限公司|一种带宽扩展方法及装置|
TWI484479B|2011-02-14|2015-05-11|Fraunhofer Ges Forschung|用於低延遲聯合語音及音訊編碼中之錯誤隱藏之裝置和方法|
BR112013020592A2|2011-02-14|2016-10-18|Fraunhofer Gellschaft Zur Förderung Der Angewandten Forschung E V|codec de áudio utilizando síntese de ruído durante fases inativas|
TWI469136B|2011-02-14|2015-01-11|Fraunhofer Ges Forschung|在一頻譜域中用以處理已解碼音訊信號之裝置及方法|
CA2920964C|2011-02-14|2017-08-29|Christian Helmrich|Apparatus and method for coding a portion of an audio signal using a transient detection and a quality result|
MX2013009345A|2011-02-14|2013-10-01|Fraunhofer Ges Forschung|CODING AND DECODING POSITIONS OF THE PULSES OF THE TRACKS OF AN AUDIO SIGNAL.|
EP2550653B1|2011-02-14|2014-04-02|Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V.|Information signal representation using lapped transform|
WO2012131438A1|2011-03-31|2012-10-04|Nokia Corporation|A low band bandwidth extender|
JP2013007944A|2011-06-27|2013-01-10|Sony Corp|信号処理装置、信号処理方法、及び、プログラム|
US20130006644A1|2011-06-30|2013-01-03|Zte Corporation|Method and device for spectral band replication, and method and system for audio decoding|
JP5600822B2|2012-01-20|2014-10-08|フラウンホッファー−ゲゼルシャフトツァフェルダールングデァアンゲヴァンテンフォアシュンクエー.ファオ|正弦波置換を用いた音声符号化および復号化のための装置および方法|
MY167474A|2012-03-29|2018-08-29|Ericsson Telefon Ab L M|Bandwith extension of harmonic audio signal|
EP2709106A1|2012-09-17|2014-03-19|Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V.|Apparatus and method for generating a bandwidth extended signal from a bandwidth limited audio signal|
US9258428B2|2012-12-18|2016-02-09|Cisco Technology, Inc.|Audio bandwidth extension for conferencing|
SG10201608613QA|2013-01-29|2016-12-29|Fraunhofer Ges Zur Förderung Der Angewandten Forschung E V|Decoder For Generating A Frequency Enhanced Audio Signal, Method Of Decoding, Encoder For Generating An Encoded Signal And Method Of Encoding Using Compact Selection Side Information|
RU2625945C2|2013-01-29|2017-07-19|Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф.|Устройство и способ для генерирования сигнала с улучшенным спектром, используя операцию ограничения энергии|
CN103971693B|2013-01-29|2017-02-22|华为技术有限公司|高频带信号的预测方法、编/解码设备|
KR101463022B1|2013-01-31|2014-11-18|루먼텍|광대역 가변 대역폭 채널 필터 및 그 필터링 방법|
US9666202B2|2013-09-10|2017-05-30|Huawei Technologies Co., Ltd.|Adaptive bandwidth extension and apparatus for the same|
JP6576934B2|2014-01-07|2019-09-18|ハーマン インターナショナル インダストリーズ インコーポレイテッド|圧縮済みオーディオ信号の信号品質ベース強調及び補償|
FR3017484A1|2014-02-07|2015-08-14|Orange|ENHANCED FREQUENCY BAND EXTENSION IN AUDIO FREQUENCY SIGNAL DECODER|
RU2689181C2|2014-03-31|2019-05-24|Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф.|Кодер, декодер, способ кодирования, способ декодирования и программа|
US10074373B2|2015-12-21|2018-09-11|Qualcomm Incorporated|Channel adjustment for inter-frame temporal shift variations|
US10008218B2|2016-08-03|2018-06-26|Dolby Laboratories Licensing Corporation|Blind bandwidth extension using K-means and a support vector machine|
法律状态:
2012-06-20| A131| Notification of reasons for refusal|Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120619 |
2012-09-11| A601| Written request for extension of time|Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20120910 |
2012-09-19| A602| Written permission of extension of time|Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20120918 |
2012-11-29| A521| Written amendment|Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121128 |
2012-12-17| TRDD| Decision of grant or rejection written|
2013-01-09| A01| Written decision to grant a patent or to grant a registration (utility model)|Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130108 |
2013-02-07| A61| First payment of annual fees (during grant procedure)|Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130130 |
2013-02-08| R150| Certificate of patent or registration of utility model|Ref document number: 5192053 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
2013-02-14| FPAY| Renewal fee payment (event date is renewal date of database)|Free format text: PAYMENT UNTIL: 20160208 Year of fee payment: 3 |
2016-02-02| R250| Receipt of annual fees|Free format text: JAPANESE INTERMEDIATE CODE: R250 |
2017-02-07| R250| Receipt of annual fees|Free format text: JAPANESE INTERMEDIATE CODE: R250 |
2018-02-06| R250| Receipt of annual fees|Free format text: JAPANESE INTERMEDIATE CODE: R250 |
2019-02-12| R250| Receipt of annual fees|Free format text: JAPANESE INTERMEDIATE CODE: R250 |
2020-02-12| R250| Receipt of annual fees|Free format text: JAPANESE INTERMEDIATE CODE: R250 |
2021-02-03| R250| Receipt of annual fees|Free format text: JAPANESE INTERMEDIATE CODE: R250 |
2022-02-01| R250| Receipt of annual fees|Free format text: JAPANESE INTERMEDIATE CODE: R250 |
优先权:
申请号 | 申请日 | 专利标题
[返回顶部]